LangChain Chat
チューニング
長いMarkdownの回答のテストでは、質は素晴らしいものでしたが、回答時間は希望より若干長くなりました。パフォーマンスを向上させるために、プロンプトを改良し、さまざまなキーワードと文構造を試すことに多くの時間を費やしました。
1つの方法は、プロンプトの最後に「Markdown」キーワードを記載することでした。このユースケースでは、キーワードが1つだけ言及されている書式設定された出力を返すことができました。
プロンプトの先頭近くにベース URLを提供すると、全体的なパフォーマンスが向上しました。これにより、モデルに回答に含める最終URLを作成するための作業参照が提供されます。
「hyperlinks」の代わりに「hyperlink」、「code blocks」の代わりに「code block」などの単数形を使用すると、応答時間が改善されることがわかりました。
そんなことがあるのか..wblu3mo.icon
blu3mo.icon
https://gyazo.com/b3fe7667afeb6c08407778b24eb3e857
とりあえずローカルで動かせた
openaiとかlangchainのバージョンが古くて最初動かなかった
Use the following pieces of context to answer the question at the end. If you don't know the answer, just say that you don't know, don't try to make up an answer.